จิรศักดิ์เคยสมรสกับนิโคล เทริโอ เมื่อวันที่ 24 มกราคม พ.ศ. 2547 ด้วยพิธีการอย่างคาทอลิกที่อาสนวิหารอัสสัมชัญ[4] มีบุตรชายเพียงคนเดียวคืออชิระ ปานพุ่ม หรือ ทิกเกอร์ (มีชื่อในการแสดงว่า อชิระ เทริโอ[10] และได้เปลี่ยนนามสกุลจริงมาเป็น เทริโอ[11]) และได้แยกทางกับนิโคลแล้ว[12]

ปัจจุบันสมรสกับอาจารี ม่วงพลับ (ชื่อเล่น แหนว) เมื่อวันที่ 10 พฤษภาคม พ.ศ. 2552[6] โดยพิธีการอย่างนิกายโปรเตสแตนต์[13]มีบุตรด้วยกันคนเดียวคือ คุณธรรม ปานพุ่ม (แจ๊สเปอร์) โดยมีนิโคล เทริโอ อดีตภรรยาเป็นผู้ตั้งชื่อเล่นให้[14]